自对弈与技能演化:自演化搜索智能体,能出题、求解并记忆
🧭 自演化技能记忆 · 搜索智能体训练
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Peking University · Mininglamp Technology · Tsinghua University
让技能记忆在工具增强的自对弈中与任务生成协同演化,失败案例蒸馏为可复用技能写回记忆
📌 工作参考价值(4 点)
- 技能记忆演化机制可构建「失败→技能」蒸馏闭环,在电商搜索/推荐中用于积累有效的查询改写模式、多跳推理路径。
- 技能存储为外部可检索库,训练时可融入模型参数,部署时灵活选择是否启用检索,类似 RAG 的离线在线解耦,适合需要低延迟的推荐场景。
- 自对弈出题+求解的设计可迁移到对话推荐或广告创意生成,让 challenger 产出多样化用户意图,solver 从技能库中检索最优策略。
- 协同演化使技能记忆不再是静态插件,而是改变策略学习和未来训练分布,这一思路可用来构建持续自进化的推荐策略库或用户模拟器。
面向搜索Agent的图结构化行动空间与信用分配框架
🧭 结构化搜索Agent · 行动空间重塑 ★ 深度解读
National University of Defense Technology
用有限动作菜单替代自由形式查询,消除检索等价崩溃,并在同一状态下进行结构化信用分配,训练更稳定的RL搜索Agent
📌 工作参考价值(4 点)
- 将自由文本检索转换为离散菜单选择(如词条、属性、类目),可避免策略优化中的检索等价崩溃,适用于电商搜索推荐中的多步推理agent。
- 利用图形结构(实体-句子图)提供可预览的动作替代方案,实现局部对比信用(frontier-relative advantage),无需额外采样就能获得同状态下动作相对价值,可用于推荐系统的多步决策。
- 启用信用传播通过依赖图回溯,将下游收益分配给早前的桥接动作,能有效处理多跳推荐/对话中的延迟奖励问题,且计算开销低(仅增加9~11%),适合工业部署。
- 整体框架(菜单+SNC)与RL算法无关,可灵活集成到现有PPO/GRPO训练流程中,且图构建完全程序化(零LLM成本),为工业级搜索/推荐agent优化提供了高效方案。
EvoBrowseComp:演化知识驱动的搜索Agent评测基准
🧭 搜索Agent评测基准 · 动态知识演化
Northeastern University, China · Weixin AI, Tencent Inc, China
提出自动更新的复杂问答基准EvoBrowseComp,利用三Agent协同从实时网络中合成无污染题目,评估搜索Agent的真实浏览能力。
📌 工作参考价值(4 点)
- 借鉴多Agent协作流水线(QA合成、信息过滤、高层推理图构建)自动生成评测数据,可迁移到电商推荐场景,动态生成需要实时检索的商品对比、政策更新等复杂查询,防止模型依赖过时记忆。
- 信息过滤Agent通过可信度和流行度双筛阻断参数快捷方式,这一思路可用于构建推荐系统的抗泄漏测试集,确保模型真正理解上下文而非记忆热门模式。
- 推理Graph形式化减少逻辑冗余,可启发我们将用户多条件查询(如“性价比高、适合油皮、2025新款粉底液”)解析为结构化约束,生成更鲁棒的Agent评测用例。
- 定期自动更新的基准设计,适合作为线上搜索Agent持续监控的探针,及时检测模型在面对新鲜知识时的退化,类似推荐系统中的概念漂移检测。